#Representation Learning

4 篇

Adaptive Hierarchical Representation Alliance for Multimodal Learning

多模态学习的自适应层次表征联盟

🧭 多模态分层共享-私有专家框架

Fudan University · University of Southern California · Cornell University · University of New South Wales · Peking University

提出AHRA分层共享-私有专家框架，缓解跨模态语义粒度错配并提升噪音与缺失鲁棒性

📌 工作参考价值（4 点）

多模态商品理解中，不要默认各模态在最终层对齐；用 layer-wise CKA 识别语义深度差异：商品文本/标题往往需深层抽象，商品图/短视频帧的视觉证据在浅中层就可判别，可在对应层级做 shared 对齐，减少浅层视觉信息被 flatten。
共享/私有专家分解 + private decorrelation 可迁移到多通道用户/物品表示：跨场景共享专家建模共性，场景或模态专属专家保留细粒度信号，避免搜索/推荐/广告多域数据互相干扰。
sparsity-controlled soft-gating（foreground exam）适合多模态 item tower 的 token/feature 选择：对缺失或噪声模态自动降权，增强 task-relevant private token，提升线上缺图/缺描述时的鲁棒性。
层次 co-fusion 的 intra-level coordination + inter-level semantic selection 可用于多尺度融合商品图文与用户行为序列，动态选择最有利的语义层级，而非固定 concat/attention。

Multimodal | 2026-08-24 | cs.MM | score 6/10

正交 JEPA：面向潜在世界模型的因子化预测状态

🧭 预测表征学习 · 世界模型

The Chinese University of Hong Kong (CUHK)

提出正交预测因子化框架，将目标状态分解为多个正交组件分别预测，缓解主导信号对表征学习的干扰

📌 工作参考价值（4 点）

多任务/多目标推荐中共享 backbone 常面临负迁移：可借鉴正交因子分解，将目标空间分解为多个正交组件，每个任务/目标使用独立预测头，显式鼓励任务表征方向不重叠，缓解主导任务（如 CTR）对辅助任务（如收藏、GMV）的梯度压制。
在用户序列建模或商品表征预训练中，JEPA 式自监督学习可用：对 next-item 预测或跨视图预测，把目标 embedding 用基矩阵分解为多个正交因子，分别预测后合成，避免单一预测头只拟合热门/高频特征，提升对长尾兴趣的覆盖。
在线方差正则化可防止 embedding 坐标坍缩，适合推荐模型 embedding 层或序列编码器，避免有效维度减少；因子活动正则化思想可迁移到多兴趣表征，保持不同兴趣向量的多样性。
该预测状态机制可支持 planning/rollout，对 Agent 在推荐环境中做用户模拟或策略评估时，可构建因子化世界模型，生成更稳定的用户状态转移。

Other | 2026-08-20 | cs.LG | score 6/10

AURORA-LM：连续潜在扩散语言模型的自动编码统一表示

🧭 连续潜在扩散语言模型 ★ 深度解读

PRLab, Nanjing University · S-Lab, Nanyang Technological University · Imperial College London

解耦表示与生成，用高容量可解码连续潜在空间实现高质量文本扩散

📌 工作参考价值（4 点）

解耦表示与生成：在电商推荐/搜索中可训练一个连续潜在编码器（如物品描述、查询意图），冻结后单独优化扩散生成模型，降低耦合，灵活调优。
高容量潜在保留信息：使用高维连续潜在向量表示商品或查询，利用低秩噪声输入瓶颈（如 \(D_b=128\)）减少扩散模型计算，同时保留全宽解码质量，适合平衡效果与效率。
噪声分配校准：根据潜在维度调整训练时的噪声水平分布，对高维潜在侧重高噪声样本，改善生成多样性，可用于推荐文本生成或搜索词推荐中控制多样性-质量权衡。
自轨迹一致性：在扩散推理时通过相邻步预测一致性正则化，显著提升少步（如 16 步）生成质量，降低线上推理延迟，利于实时生成场景。

LLM | 2026-08-02 | HF Daily | score 8/10

表征分布匹配实现一步视觉生成

🧭 生成模型训练与一步蒸馏

EPFL · Valeo.ai · Sorbonne Université

用修正的MMD、超大批次和平衡编码器组抗投机，将多步扩散模型蒸馏为一步生成器

📌 工作参考价值（4 点）

推荐生成式模型蒸馏：可借鉴 RDM 范式，用预训练的用户/物品编码器计算表征分布距离（如 MMD），替代传统扩散损失，将多步扩散推荐模型蒸馏为一步生成器，降低推理延迟。
抗投机评估：单一编码器的分布距离可能被“游戏”，推荐系统在做离线评估时，应采用多个独立预训练编码器的组合指标（如类似 SW_r14 的切片瓦瑟斯坦距离），确保生成质量真实提升。
超大批次训练：MMD 估计需要大 batch size（>2048）来稳定梯度，推荐场景中在使用分布匹配损失时，应设计足够大的负采样或跨 batch 缓存机制，否则训练效果会显著下降。
训练效率：iRDM 仅 90 H200 GPU 小时就能将四步 FLUX.2 蒸馏为一步模型，且指标超越原版，该高效蒸馏方案可推广至推荐系统的文本/图像生成模块，快速实现低成本部署。

Training | 2026-07-01 | HF Daily | score 6/10